Mô hình hồi quy tuyến tính là gì? Các nghiên cứu khoa học

Định nghĩa và khái quát mô hình hồi quy tuyến tính

Mô hình hồi quy tuyến tính (Linear Regression) là một kỹ thuật thống kê dùng để mô tả và ước lượng mối quan hệ tuyến tính giữa một biến phụ thuộc (được ký hiệu y) và một hoặc nhiều biến độc lập (x₁, x₂, …, x_p). Mục tiêu chính của mô hình là tìm ra phương trình đường thẳng (hoặc siêu phẳng trong không gian đa chiều) tốt nhất sao cho tổng bình phương sai số (residuals) giữa giá trị quan sát và giá trị dự đoán được tối thiểu hóa.

Ứng dụng của hồi quy tuyến tính rất đa dạng trong nhiều lĩnh vực: dự báo kinh tế (GDP, lạm phát), phân tích thị trường tài chính (giá cổ phiếu, lợi suất trái phiếu), dự báo nhu cầu sản phẩm, phân tích dữ liệu y sinh (mối quan hệ giữa liều thuốc và hiệu quả điều trị) hay kỹ thuật vật liệu (tương quan giữa thành phần hợp kim và độ bền cơ học).

• Hồi quy đơn biến: một biến độc lập x ảnh hưởng lên y.
• Hồi quy đa biến: nhiều biến x_j cùng tham gia mô hình.
• Hồi quy tương hỗ (multivariate regression): nhiều biến phụ thuộc cùng phân tích.

Phương trình tổng quát và ký hiệu

Phương trình hồi quy tuyến tính đơn biến được viết dưới dạng:

$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i$

Trong đó, y_i là giá trị quan sát thứ i, x_i là giá trị biến giải thích, β₀ là hệ số chặn (intercept), β₁ là hệ số góc (slope) và ε_i là sai số ngẫu nhiên.

Ở hồi quy đa biến, người ta sử dụng ký hiệu ma trận để tổng quát:

$\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$

• $\mathbf{y}$ là vector giá trị phụ thuộc (n×1).
• $\mathbf{X}$ là ma trận thiết kế (n×(p+1)), hàng đầu tiên thường là cột 1 để tính β₀.
• $\boldsymbol{\beta}$ là vector hệ số ( (p+1)×1 ).
• $\boldsymbol{\varepsilon}$ là vector sai số (n×1), giả thiết phân phối chuẩn với $\mathrm{E}[\boldsymbol{\varepsilon}]=0$, $\mathrm{Var}[\boldsymbol{\varepsilon}]=\sigma^2\mathbf{I}$.

Giả thiết cơ bản

Mô hình OLS (Ordinary Least Squares) dựa trên một số giả thiết then chốt để đảm bảo tính nhất quán và không chệch của ước lượng hệ số:

• Tuyến tính: mối quan hệ giữa biến y và mỗi biến x_j là tuyến tính trong tham số β.
• Sai số có kỳ vọng bằng 0: E[ε_i] = 0 với mọi i, đảm bảo không tồn tại hệ số chệch.
• Độc lập: ε_i không phụ thuộc vào ε_j với i ≠ j.
• Đồng phương sai không đổi (Homoscedasticity): Var[ε_i] = σ² cho mọi i.
• Không đa cộng tuyến nghiêm trọng: các biến giải thích không có mối quan hệ tuyến tính chặt chẽ với nhau.
• Phân phối chuẩn của sai số: ε_i ~ N(0, σ²), cần thiết để thực hiện kiểm định t và F.

Giả thiết	Ý nghĩa	Hệ quả khi vi phạm
Tuyến tính	Ký hiệu đúng mô hình	Chệch sai số, cần biến đổi hoặc thêm biến phi tuyến
Homoscedasticity	Ổn định độ tin cậy ước lượng	Sai số chuẩn ước lượng sai, kiểm định không chính xác
Không đa cộng tuyến	Ước lượng ổn định	Hệ số β dao động lớn, không đáng tin cậy

Phương pháp ước lượng

Phương pháp bình phương tối thiểu (OLS) tìm vector $\hat{\boldsymbol{\beta}}$ sao cho tổng bình phương phần dư $\sum_{i=1}^n (y_i - \hat{y}_i)^2$ là nhỏ nhất. Giải pháp dạng ma trận được tính bằng:

$\hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$

Ưu điểm của OLS là công thức đóng kín, dễ tính toán và giải thích, đồng thời là ước lượng tuyến tính không chệch với biến sai số tuân theo giả thiết. Tuy nhiên, OLS rất nhạy cảm với ngoại lệ (outliers) và vi phạm giả thiết (heteroscedasticity, đa cộng tuyến).

• Ước lượng điểm: cho giá trị β ước lượng.
• Ước lượng khoảng tin cậy: xác định độ tin cậy của β.
• Kiểm định hệ số: t–test cho từng β_j, F–test cho toàn mô hình.

Phương pháp	Ưu điểm	Nhược điểm
OLS	Đơn giản, giải thức đóng	Nhạy ngoại lệ, giả thiết nghiêm ngặt
Ridge Regression	Giảm đa cộng tuyến	Giới thiệu chệch (bias)
Lasso Regression	Chọn biến tự động	Ước lượng không khả vi, cần tối ưu hóa số học

Kiểm định và suy luận thống kê

Kết quả ước lượng OLS được đánh giá thông qua các kiểm định thống kê nhằm xác định mức độ ý nghĩa của các hệ số β và toàn bộ mô hình. Kiểm định t (t–test) kiểm tra giả thuyết H₀: β_j=0 so với H₁: β_j≠0, dựa trên thống kê $t_j = \frac{\hat\beta_j}{\mathrm{SE}(\hat\beta_j)}$ và phân phối t với n–p–1 bậc tự do.

Kiểm định F (F–test) cho tổng thể mô hình đánh giá H₀: tất cả β_1..p=0. Thống kê F được tính bằng tỷ số giữa phương sai mô hình và phương sai phần dư, so sánh với phân phối F để xác định ý nghĩa chung của biến giải thích. Chỉ số R² và R²_adj đo tỉ lệ phương sai được giải thích, trong đó $R^2 = 1 - \frac{\sum (y_i - \hat y_i)^2}{\sum (y_i - \bar y)^2}$ và $R^2_{adj} = 1 - \frac{(n-1)(1-R^2)}{n-p-1}$.

Khoảng tin cậy (confidence interval) cho mỗi β_j được tính là $\hat\beta_j \pm t_{\alpha/2,n-p-1}\,\mathrm{SE}(\hat\beta_j)$ giúp định lượng độ không chắc chắn. Giá trị p–value xác suất nhỏ hơn α (thường 0.05) gợi ý bác bỏ H₀. Các kiểm định thêm bao gồm kiểm tra phân phối chuẩn của sai số (Shapiro–Wilk test) và kiểm tra heteroscedasticity (Breusch–Pagan test).

Chẩn đoán mô hình

Phân tích phần dư (residual analysis) là công cụ chính để đánh giá tính hợp lệ của giả thiết. Đồ thị phần dư so với giá trị dự đoán (residuals vs. fitted) giúp phát hiện non-linearity hoặc heteroscedasticity. Biểu đồ Q–Q (quantile–quantile plot) kiểm tra phân phối chuẩn của sai số.

Một số kiểm định và chỉ số chẩn đoán phổ biến:

Kiểm định/Chỉ số	Mục đích	Ngưỡng cảnh báo
Breusch–Pagan	Phát hiện heteroscedasticity	p–value < 0.05
Durbin–Watson	Kiểm tra tự tương quan	DW < 1.5 hoặc > 2.5
VIF (Variance Inflation Factor)	Đa cộng tuyến	VIF > 10
Cook’s distance	Điểm ảnh hưởng	Cook’s D > 4/(n–p–1)

Điểm có leverage cao (h_ii) và giá trị Cook’s distance lớn gợi ý dữ liệu ngoại lai (outlier) hoặc ảnh hưởng quá mức, cần xem xét loại bỏ hoặc mô hình lại. Khi phát hiện vi phạm, có thể áp dụng biến đổi (log, Box–Cox) hoặc sử dụng phương pháp ước lượng bền vững (robust regression).

Mở rộng và biến thể

Trong trường hợp đa cộng tuyến hoặc quá nhiều biến giải thích, các phương pháp điều chuẩn (regularization) như Ridge Regression và Lasso Regression được sử dụng. Ridge thêm điều chuẩn L2, tối thiểu hóa $\sum (y_i - \hat y_i)^2 + \lambda \sum \beta_j^2$, trong khi Lasso sử dụng chuẩn L1, tạo khả năng chọn biến tự động.

Elastic Net kết hợp L1 và L2 giúp cân bằng giữa chọn biến và giảm thiểu phương sai. Polynomial Regression mở rộng mô hình tuyến tính thành phi tuyến bằng cách thêm các biến bậc cao x², x³,…, trong khi Generalized Additive Models (GAM) cho phép hàm φ_j(x_j) phi tham số.

• Ridge, Lasso, Elastic Net cho dữ liệu đa chiều, giảm overfitting.
• Polynomial Regression và GAM mô hình hóa quan hệ phi tuyến.
• Robust Regression (Huber, Tukey) giảm ảnh hưởng của ngoại lệ.

Ứng dụng thực tiễn

Trong kinh tế, hồi quy tuyến tính dùng dự báo GDP, tiêu thụ năng lượng và chỉ số thị trường tài chính. Mô hình có thể tích hợp biến thời gian (time series regression) để phân tích xu hướng và chu kỳ kinh tế.

Trong y sinh, Linear Regression phân tích mối quan hệ liều – đáp ứng của thuốc, ảnh hưởng của yếu tố môi trường lên chỉ số sức khỏe (BMI, huyết áp). Ứng dụng trong công nghệ vật liệu gồm mô hình hóa độ bền và tính thấm của composite.

• Tiếp thị: dự báo doanh số dựa trên chi tiêu quảng cáo và mùa vụ.
• Giáo dục: phân tích yếu tố ảnh hưởng đến thành tích học tập.
• Mạng lưới điện: dự báo nhu cầu điện năng theo biến động thời tiết.

Hạn chế và lưu ý

Hồi quy tuyến tính chỉ phù hợp khi mối quan hệ giữa biến phụ thuộc và độc lập gần như tuyến tính. Extrapolation (ngoại suy) ra ngoài vùng dữ liệu gốc có thể dẫn đến dự báo không chính xác hoặc phi thực tế.

Omitted variable bias xảy ra khi bỏ sót biến quan trọng, làm chệch hệ số ước lượng. Sai số đo lường (measurement error) và dữ liệu mất (missing data) cũng làm giảm độ tin cậy. Cần kiểm tra và bổ sung biến, hoặc dùng phương pháp thay thế như Instrumental Variables.

• Không dùng cho quan hệ phi tuyến mạnh mà không biến đổi dữ liệu.
• Nhạy với ngoại lệ: cần chẩn đoán và xử lý robust.
• Không khuyến khích extrapolation vượt giới hạn dữ liệu.

Tài liệu tham khảo

• NIST/SEMATECH e-Handbook of Statistical Methods. “Linear Regression.” Link.
• Kutner, M. H., Nachtsheim, C. J., & Neter, J. “Applied Linear Statistical Models.” 5th ed., McGraw-Hill, 2004.
• Wooldridge, J. M. “Introductory Econometrics: A Modern Approach.” 7th ed., Cengage, 2019.
• Hastie, T., Tibshirani, R., & Friedman, J. “The Elements of Statistical Learning.” 2nd ed., Springer, 2009. Link.
• UCLA Statistical Consulting. “Introductory Linear Regression.” Link.